Exploratory analysis of semantic categories : comparing data-driven and human similarity judgments

Abstract Background In this article, automatically generated and manually crafted semantic representations are compared. The comparison takes place under the assumption that neither of these has a primary status over the other. While linguistic resources can be used to evaluate the results of automated processes, data-driven methods are useful in assessing the quality or improving the coverage of hand-created semantic resources. Methods We apply two unsupervised learning methods, Independent Component Analysis (ICA), and probabilistic topic model at word level using Latent Dirichlet Allocation (LDA) to create semantic representations from a large text corpus. We further compare the obtained results to two semantically labeled dictionaries. In addition, we use the Self-Organizing Map to visualize the obtained representations. Results We show that both methods find a considerable amount of category information in an unsupervised way. Rather than only finding groups of similar words, they can automatically find a number of features that characterize words. The unsupervised methods are also used in exploration. They provide findings which go beyond the manually predefined label sets. In addition, we demonstrate how the Self-Organizing Map visualization can be used in exploration and further analysis. Conclusion This article compares unsupervised learning methods and semantically labeled dictionaries. We show that these methods are able to find categorical information. In addition, they can further be used in an exploratory analysis. In general, information theoretically motivated and probabilistic methods provide results that are at a comparable level. Moveover, the automatic methods and human classifications give an access to semantic categorization that complement each other. Data-driven methods can furthermore be cost effective and adapt to a particular domain through appropriate choice of data sets

The interplay between cognitive, conative, and affective constructs along the entrepreneurial learning process

Purpose: Although the role of reflections in entrepreneurship education is undeniable, the research has focused mainly on their advantages and consequences for learning process, whereas their dynamics and interrelations with other mental processes remain unexplored. The purpose of this paper is to better understand how personality and intelligence constructs: cognition, conation, and affection evolve and change along the learning process during entrepreneurship education. Design/methodology/approach: To better understand reflective processes in entrepreneurial learning this paper adopts the tripartite constructs of personality and intelligence. By employing longitudinal explorative research approach and self-organizing map (SOM) algorithm, the authors follow students’ reflections during their two-year learning processes. First, the authors try to identify how the interplay between the cognitive, conative, and affective aspects emerges in students’ reflections. Then, the authors investigate how this interplay evolves during the individual learning process and finally, by looking for similarities in these learning pathways, the authors aim to identify patterns of students’ reflective learning process. Findings: All constructs are present during the learning process and all are prone to change. The individual constructs alone shed no light on the interplay between different constructs, but rather that the interplay between sub-constructs should be taken into consideration as well. This seems to be particularly true for cognition, as procedural and declarative knowledge have very different profiles. Procedural knowledge emerges together with emotions, motivation, and volition, whereas the profile of declarative knowledge is individual. The unique profile of declarative knowledge in students’ reflections is an important finding as declarative knowledge is regarded as the center of current pedagogic practices. Research limitations/implications The study broadens the understanding of reflective practices in the entrepreneurial learning process and the interplay between affective, cognitive, and conative sub-constructs and reflective practices in entrepreneurship education. The findings clearly indicate the need for further research on the interplay between sub-constructs and students’ reflection profiles. The authors see the study as an attempt to apply an exploratory statistical method for the problem in question. Practical implications: The results are able to advise pedagogy. Practical implications concern the need to develop reflective practises in entrepreneurial learning interventions to enhance all three meta-competencies, even though there are so far no irrefutable findings to indicate that some types of reflection may be better than others. Originality/value: The results of the analysis indicate that it is possible to study the complex and dynamic interplay between sub-constructs of cognitive, conative and affective constructs. Moreover, the research succeeded in identifying both individual variations and general reflection patterns and changes in these during the learning process. This was possible by adopting a longitudinal explorative research approach with SOM analyses.Peer reviewe

Yhteisen käsitejärjestelmän muodostumisen simulointi moniagenttiympäristössä

Ihmiset kykenevät välittämään merkityksiä toisilleen käyttämällä yhteisiä, sovittuja symboleja eli sanoja. Tässä diplomityössä tutkitaan käsitteiden ja sanojen välisten yhteyksien muodostumista, eli sitä miten kielen käyttäjä eli agentti oppii uusien sanojen merkityksen, ja sitä miten yhteinen kieli syntyy agenttipopulaatiossa. Diplomityössä agentin käsitekarttaa mallinnetaan itseorganisoituvan kartan avulla. Käsitteinä pidetään tässä ohjaamattoman oppimisen avulla itseorganisoituvalle kartalle syntyviä alueita. Kartan voidaan ajatella vastaavan käsiteavaruuden yhtä tasoa. Kielen oppimista mallinnetaan kielipelien, erityisesti havaintoihin perustuvan kielipelin, avulla simuloidussa agenttipopulaatiossa. Työssä toteutetaan agenttisimulaatioympäristö, jota testataan erilaisia parametriarvoja käyttäen. Kokeiden tulokset vahvistavat, että simulaation edetessä agentit oppivat kommunikoimaan onnistuneesti yhteistä, emergoituvaa sanastoa käyttäen

Kielen ja merkityksen laskennallinen mallintaminen ja simulointi: samankaltaisuuteen perustuvia menetelmiä

This dissertation covers various similarity-based, data-driven approaches to model language and lexical semantics. The availability of large amounts of text data in electronic form allows the use of unsupervised, data-driven methodologies. Compared to linguistic models based on expert knowledge, which are often costly or unavailable, the data-driven analysis is faster and more flexible. The same methodologies can be often used regardless of the language. In addition, data-driven analysis may be exploratory and offer a new view on the data. The complexity of different European languages was analyzed at syntactic and morphological level using unsupervised methods based on compression and unsupervised morphology induction. The results showed that the unsupervised methods are able to produce useful analyses that correspond to linguistic models. The distributional word vector space models represent the meaning of words in a text context of co-occurring words, collected from a large corpus. The vector space models were evaluated with linguistic models and human semantic similarity judgment data. Two unsupervised methods, Independent Component Analysis and Latent Dirichlet Allocation, were able to find groups of semantically similar words, corresponding reasonably well to the evaluation sets. In addition to validating the results of the unsupervised methods with the evaluation data, the research was also exploratory. The unsupervised methods found semantic word sets not covered by the evaluation set, and the analysis of the categories of the evaluation sets showed quality differences between the categories. In the agent simulation models, the meaning of words was directly linked to the perceived context of the agent. Each agent had a subjective conceptual memory, in which the associations between words and perceptions were formed. In a population of simulated agents, the emergence of a shared vocabulary was studied through simulated language games. As a result of the simulations, a shared vocabulary emerges in the community.Tämä väitöskirja kattaa useita samankaltaisuuteen perustuvia datalähtöisiä menetelmiä, joita käytetään kielen ja merkityksen mallintamiseen. Suuret, sähköisessä muodossa olevat tekstiaineistot mahdollistavat ohjaamattomien datalähtöisten menetelmien käytön. Verrattuna asiantuntijoiden tuottamiin lingvistisiin malleihin, jotka ovat usein kalliita tai joita ei aina ole saatavilla, datalähtöinen analyysi on nopeampaa ja usein joustavampaa. Samat menetelmät sopivat usein kielestä riippumatta. Lisäksi datalähtöinen analyysi voi olla eksploratiivista ja siten tarjota uuden näkökulman aineistoon. Tässä työssä analysoitiin useiden eurooppalaisten kielten syntaktisen ja morfologisen tason kompleksisuutta ohjaamattomilla menetelmillä, jotka perustuvat datan kompressioon ja ohjaamattomaan morfologian oppimiseen. Tulokset osoittavat, että ohjaamattomat menetelmät tuottavat hyödyllisiä tuloksia, jotka vastaavat lingvistisiä malleja. Jakaumiin perustuvat sana-avaruusmallit (Vector Space Models) käyttävät sanojen merkityksen esittämiseen sanojen kontekstia eli sanojen välisiä yhteisesiintymiä, jotka kerätään laajoista tekstiaineistoista. Tässä työssä käytettiin sana-avaruusmalleja, joita evaluoitiin käyttäen lingvistisiä malleja ja semanttisia evaluaatioaineistoja. Työssä käytettiin kahta ohjaamatonta menetelmää, riippumattomien komponenttien analyysia (Independent Component Analysis) sekä latenttia Dirichlet-allokaatiota (Latent Dirichlet Allocation), joilla löydettin semanttisesti samankaltaisia sanajoukkoja, jotka vastasivat kohtuullisen hyvin evaluaatioaineistoja. Evaluaatiotulosten lisäksi tutkimuksessa oli myös eksploratiivinen komponentti. Ohjaamattomat menetelmät löysivät merkitykseltään samankaltaisia sanajoukkoja, jotka puuttuivat evaluaatioaineistoista. Lisäksi menetelmillä löydettiin laadullisia eroja kategorioiden välillä. Agenttisimulaatiomallissa sanojen merkitys liittyi suoraan agentin havaitsemaan kontekstiin. Jokaisella agentilla oli oma subjektiivinen käsitemuisti, jossa assosiaatiot sanojen ja havaintojen välillä muodostuivat. Tässä työssä jaetun kielen syntyä tutkittiin useiden simuloitujen agenttien muodostamassa populaatiossa, jossa agentit kommunikoivat simuloituja kielipelejä käyttäen. Simulaatiokokeiden tuloksena jaettu kieli syntyy agenttipopulaatiossa